模型感知调度通过纤维最优传输改进生成
🧭 扩散/流匹配训练调度优化
Arnold-Sommerfeld-Center for Theoretical Physics, Ludwig-Maximilians-Universität München · Institute of Informatics, Ludwig-Maximilians-Universität München · Munich Center for Machine Learning
提出基于纤维最优传输的模型感知调度，显著提升扩散/流匹配生成效率，并发现可复用的风险模板
📌 工作参考价值（4 点）
- 训练时间重分配思路可迁移到扩散式生成推荐：用早期 checkpoint 估计模型在不同噪声时间步的预测风险，将训练采样集中在高风险区域，提升 item 表示生成质量或加速推理采样。
- 归一化风险 profile 跨模型/设置的经验普适性表明，可以离线生成一个冻结的解析调度模板，在类似任务中直接复用，省去逐模型调参成本。
- 模型感知调度把计算资源向预测困难处倾斜，与推荐中困难样本挖掘/课程学习思想一致，可结合业务指标设计风险函数，例如对高交互稀疏 item 的时间步加权。
- 注意该工作面向图像生成，迁移到推荐需谨慎：需重新定义纤维上的 OT 成本（如 item embedding 距离），并适配召回/NDCG 等业务目标。
StepAudio 3 Music 音乐生成技术报告
🧭 音乐生成 · ABC-CoT 显式规划
StepFun · ACE · The Chinese University of Hong Kong · University of California San Diego
支持 ABC-CoT 显式音乐规划与离散-连续表示的 5 分 30 秒级音乐生成模型
📌 工作参考价值（4 点）
- 显式中间规划再做最终生成：在推荐理由、push 文案、对话式导购等场景中，可以先产出结构化计划（如类目、卖点、风格、约束）作为部分上下文，再生成最终文案，提升可控性和结构一致性。
- 离散 token + 连续 latent 混合生成路径：生成式召回或内容生成中，可用 Semantic ID 作为离散 token，配合 diffusion 生成连续隐变量，兼顾语义可控与高保真重建。
- 低帧率大码本 single codebook：50Hz、65536 码本降低序列长度和解码成本；在 item/query 表示 tokenization 时可借鉴“低频帧 + 大码本 + 语义辅助多任务训练”。
- 用 DPO 直接优化业务偏好指标：AudioBox 的 enjoyment、usefulness、production quality 均在 DPO 后提升，说明推荐文案、搜索 query 生成等任务可以在 SFT 后用真实业务偏好做偏好优化。
FlowBalance：验证器校准的轨迹平衡自改进
🧭 LLM 自改进训练 · 轨迹平衡
Tencent HY LLM Frontier · University of Pennsylvania
用 verifier 校准 on-policy 自引导分数，并通过轨迹平衡训练稳定的推理自改进
📌 工作参考价值（4 点）
- 在生成式推荐/QueryRec 的 LLM 后训练中，若已有 outcome verifier（如点击、转化、相关性），可借鉴 group advantage 校准 self-guidance 符号：正优势保留密集信号、负优势反转、无偏好时禁用，避免 dense same-model 信号强化伪自信。
- 轨迹平衡替代逐 token 模仿 loss，对长文本生成（推荐理由、搜索词扩展、商品文案）训练更稳定，能缓解长度坍塌和模式集中，适合带 terminal reward 的离线增强场景。
- 冻结策略视图产生自引导分数的方法，可在 RLHF/DPO 管线上低成本复用，减少额外 critic 或 token 级标注需求；若业务能定义可靠 verifier，可让 LLM 在搜索推荐 Agent 的推理链路上保持策略多样性。
- 无明确 outcome verifier 或奖励稀疏的业务场景，方法借鉴价值有限，主要适用于可自动判定的任务（如数学、代码、结构化查询生成）。
基于随机时钟的重尾流匹配
🧭 重尾生成建模 · 流匹配
Johns Hopkins University · National University of Singapore
将重尾源分布分解为时钟条件高斯混合，使流匹配适配稀有事件生成并支持尾部校准。
📌 工作参考价值（4 点）
- 推荐系统中长尾物品和极端用户行为的生成：可将长尾分布视为重尾，利用 HTFM 的条件高斯混合机制生成更真实的尾部样本，缓解冷启动和多样性问题。
- 低采样步骤特性：HTFM 保留了流匹配的低 NFE（如 5 步）快速生成，适合在线推理场景，降低工程延迟。
- 尾部程度可调控：通过改变时钟律或尾部参数即可校准生成样本的重尾程度，可用于广告投放中的风险控制，例如调节收益分布尾部厚度以匹配业务目标。
- 条件编码思路：truncated logsignature 编码路径特征，轻量高效，可推广至其他需要将连续条件路径嵌入的条件生成任务，如用户行为序列建模。
DanceOPD：用于流匹配模型的在线策略生成场蒸馏
🧭 多能力组合蒸馏 · 在线策略训练
ByteDance Seed · NUS · UMD · HKUST
提出一种在线策略生成场蒸馏框架，通过路由和查询学生自身状态来组合冲突的多能力，提升图像生成中的能力组合效果。
📌 工作参考价值（4 点）
- 多任务组合的在线策略蒸馏：在电商推荐中，点击、转化、时长等多目标常相互冲突，可借鉴 DanceOPD 的 on-policy 场蒸馏思想，将每个目标视为一个速度场，模型在自身 roll-out 的状态上查询各场进行学习，避免离线预计算偏差，实现多目标平衡。
- 吸收算子化目标：类似于将无分类器引导（CFG）吸收为可蒸馏的场，在推荐中可将去偏、多样性控制等算子形式化为场，蒸馏进学生模型，简化推理管线。
- 生成式推荐的训练范式：若将物品 ID 表示为生成式 token，使用流匹配生成推荐序列，DanceOPD 的 on-policy roll-out 训练方式可更好对齐生成与判别目标，减少曝光偏差。
- 路由机制与能力解耦：每个训练样本只路由到一个能力场，避免能力间相互干扰，对于多领域（如广告、内容、商品）合并训练时有直接参考价值，可按样本域标签路由到对应专家场。
信任域 Q 伴随匹配：稳定离线 RL 微调流式策略
🧭 离线强化学习 · 信任域约束 · 流匹配策略微调
KAIST · Seoul National University
通过自适应控制路径空间 KL 散度，实现预训练流策略的稳定离线 RL 微调
📌 工作参考价值（4 点）
- 生成式推荐模型微调：若用 flow matching 生成用户行为或物品序列，TRQAM 提供了一种稳定的离线/在线 RL 微调方法，通过路径空间 KL 约束防止微调后策略偏离预训练知识过远，避免遗忘。
- 信任域参数自适应调度：利用对偶梯度下降自动调整 λ 的方式，可迁移到任何需要控制 KL 散度的 RL 微调场景，无需手动调节信任域大小，增强鲁棒性。
- 离线 RL 工程经验：在离线数据上直接进行策略改进时，本方法不依赖在线交互，适合电商日志数据的高效利用；同时，通过将路径级 KL 表示为 λ 的解析形式，简化了信任域的实现开销。
- 模型崩溃的预防：本文揭示 critic 病态会放大梯度误差，这一发现提醒从业者在多步生成模型（如扩散模型）微调中，应监控 critic 条件数或选用信任域方法以稳定训练。
RiT：普通扩散Transformer在表示空间即可胜任
🧭 生成模型 · 表示空间训练
Mila – Québec AI Institute · Université de Montréal · Utrecht University · Canada CIFAR AI Chair
利用DINOv2特征的优良统计特性，仅用普通DiT加x-prediction实现高效极速图像生成
📌 工作参考价值（4 点）
- 用语义表示替代像素空间做生成式推荐：预训练语义嵌入（如 DINOv2）的内在维度与像素相似，但有效秩更高、协方差条件更好，使扩散模型训练更稳定、采样更快。在推荐场景中，可将用户行为序列或物品的语义 embedding 作为扩散目标，替代原始 ID 或 VAE latents，降低建模难度。
- 维度感知噪声调度：不同特征维度可能包含不同层次的信息，RiT 对不同维度施加不同的噪声水平，避免各向同性噪声破坏低维结构。在生成序列或行为嵌入时，可对主要变化维度与噪声维度区别对待，提升生成质量。
- 联合 [CLS]-patch 建模：在序列生成中，类似地引入一个全局 token（如 user state）参与扩散过程，并与局部 patch（行为 sub-sequence）联合建模，可能比独立生成各步行为更连贯。
- 快速采样的工程优势：无需蒸馏或一致性训练，RiT 仅用 5~10 个 Heun 步骤即可达到高画质。这为在线推荐中实时生成候选集（如 top-N 物品）提供了可能，大幅降低推理延迟。
跨越桥梁的熵：流与薛定谔采样器的条件边际离散化
🧭 流匹配与桥采样的推理步调度
NVIDIA Corporation · University of Oxford · Radboud University · AITHYRA
提出条件边际熵率调度，无训练地实现低步数流匹配与桥采样的边界重非均匀步分配，显著改善生成质量
📌 工作参考价值（4 点）
- 在低 NFEs 的流匹配/扩散推荐模型（如 Semantic ID 生成）中，可尝试边界重的非均匀采样步长，取代均匀或启发式分步，几乎零成本提升生成质量。
- 熵率调度训练无关，只需根据条件熵估计或桥的闭式解（如高斯假设）调整时间网格，易部署到现有模型。
- 电商场景中的商品图生成或分子生成，类似低步数优化可直接复用，将步数优先分配在起始和结束阶段。
- 方法将边际与条件解耦，为设计更高效的生成式推荐解码器（如去噪扩散推荐）提供理论借鉴。